Caracterización de patrones de actividad mediante el seguimiento ocular

En este Trabajo de Fin de Grado, se ha diseñado y evaluado una metodología que permita reconocer la actividad que realiza una persona con un ordenador a partir de sus patrones de movimiento ocular. La consecución de este objetivo requiere capturar la posición en pantalla de la mirada del usuario mientras ejecuta determinadas tareas. Esta información puede ser registrada mediante tecnología de seguimiento ocular y los dispositivos que implementan esta tecnología se denominan eye trackers. En este proyecto se ha optado por utilizar uno de estos dispositivos: el Eye Tribe Tracker. Se trata de un eye tracker de bajo coste, el cual es capaz de medir la posición de las pupilas del usuario y calcular a partir de esta información las coordenadas x e y, medidas en píxeles, de los puntos en la pantalla. En primer lugar se han diseñado y programado las herramientas de captura de datos oculares a partir de las librerías proporcionadas por el fabricante del eye tracker. El análisis y caracterización de las actividades realizadas por el usuario se ha llevado a cabo por medio de algoritmos de aprendizaje automático. El perceptrón multicapa y el bosque aleatorio son las opciones elegidas para esta tarea. El estudio llevado a cabo, ha requerido el diseño y ejecución de pruebas para la validación del sistema. En primer lugar, se han seleccionado las actividades a reconocer: la lectura de un texto, el visionado de un vídeo tranquilo, el visionado de un vídeo de acción y la navegación por una página web. Después se ha registrado con el eye tracker los patrones oculares de 20 voluntarios durante la realización de estas actividades. Se han reservado datos para entrenar los algoritmos y para evaluar su precisión en la predicción de las actividades. También se ha medido el coste computacional de los algoritmos con el objetivo de evaluar el sistema para su posible uso en tiempo real. En este documento se recoge la metodología empleada y se analizan los resultados obtenidos en las pruebas de validación. Estos resultados demuestran que es posible reconocer con una precisión suficiente las tareas que realiza un usuario en el ordenador, haciendo uso de un dispositivo de eye tracking de bajo coste. Además, es razonable implementar el sistema en un entorno de procesamiento en tiempo real.In this undergraduate thesis project, a methodology that allows the recognition of a person’s activity with a computer has been assessed based on his/her eye movement patterns. Achieving this aim requires to acquire the user’s gaze screen position while executing specific tasks. This information can be recorded by eye-tracking technology and the devices that implement such technology are called eye trackers. One of these devices has been chosen to be used in this project: the Eye Tribe Tracker. It is a low-cost eye tracker, which is able to measure the user’s gaze direction and compute from this information the x and y coordinates of the screen points, measured in pixels. First the tools to capture the eye data using the libraries provided by the manufacturer or the eye tracker were designed and programmed. The analysis and characterization of the data was carried out by machine learning algorithms. The multilayer perceptron and a random forest were the options chosen for this task. The study carried out in this project has required the design and execution of validation tests for the data collected. First, the activities to be recognized have been selected: reading a text, viewing a quiet video, viewing an action video and browsing a web page. Then, 20 volunteers’ eye patterns have been recorded with the eye tracker during the performance of these activities. Data was divided for the algorithms’ training and for the evaluation of accuracy in the activity prediction. Also, the algorithms’ computational cost was measured in order to evaluate the system for online use. The methodology used and the results obtained in the tests are reported and analyzed in this document. These results show that it is possible to recognize the tasks performed by a user on a computer with enough precision using a low-cost eye tracking device. In addition, the results also show that it is reasonable to implement the system for an online use